通过CubeAtlas实现无畸变无缝全景生成
🧭 全景图像生成 · 扩散Transformer
Tencent
提出CubeAtlas表示与布局感知稀疏注意力，单次前向生成几何一致的全景图
📌 工作参考价值（3 点）
- 直接可借鉴点有限：全景生成与电商推荐核心链路基本无关，主要学术贡献。
- 布局感知稀疏注意力：当 token 布局有明确空间结构时（如商品多视图、场景图），可依据几何关系裁剪注意力矩阵，减少计算同时保持跨视图一致性，对多模态商品内容生成有参考价值。
- 训练自由超分与融合：在不重新训练的情况下提升高分辨率细节，可借鉴用于电商图片/视频后期增强。
CommerceGen-Studio：电商 SKU 主图端到端生成框架
🧭 多模态电商主图生成 · Agent+RL+蒸馏 ★ 深度解读
Alibaba Group · Taobao App · AI-Native Applications Group
三段式 SKU 主图生成框架：PERL-Agent 提炼卖点、Layout Thinker 优化布局、SKU-DiT 多条件保真生成，已支撑每日百万级生产
📌 工作参考价值（4 点）
- PERL-Agent 的闭环提炼模式可直接迁移到电商文案/标题/搜索词生成：用 VLM+LLM 四角色（生成-评判-归因-改写）处理多源元数据冲突，六维 reference-free rubric 优化最差维度而非均值，支持按失败维度单点修改 prompt 并回滚到历史好版本。业务上可避免按类目写规则，也能定位 bad case 根因。
- Layout Thinker Optimization 的做法值得 Agent 系统借鉴：在结构化 TextList 和最终生成器之间插入显式布局改写层，SFT 后做双域 GRPO——文本奖励直接评 caption，图像奖励冻结下游 SKU-DiT 渲染后评图，每次只激活一个奖励域避免梯度冲突。这样能缩小上游语义和下游生成之间的 gap，而不是让生成器自己隐式规划。
- RDR 训练策略对模型加速很有参考价值：先 RL 对齐偏好，再用 DMD2 变体做少步蒸馏（靠近干净端点随机停止、商标域 3:1 混合、对抗训练），最后对少步学生再做一轮 RL 恢复高频细节。注意 RL 阶段用 LoRA 限制更新范围，防止奖励优化把底座能力带偏。
- 多条件输入设计可复用于电商 AIGC 管线：白底商品图 + 商标 crop + 结构化布局 caption 联合输入，把主体保真、logo 完整性、文字准确度显式拆成条件，并在 reward 中加入 OCR penalty，比单一 prompt 更能满足可发布要求。
LLaDA-Image：全开放训练配方构建强大图像生成器
🧭 图像生成 · 开放训练配方
AGI Research Center, Inclusion AI
从零训练6B DiT图像生成模型，开源权重与代码，在Qwen-Image-Bench双榜达到开源SOTA
📌 工作参考价值（4 点）
- 电商商品图/广告素材生成：可借鉴其 image-only pre-training 策略，先利用海量无标注商品图构建视觉生成先验，再做文本对齐，降低对配对图文数据的依赖。
- 训练效率优化：parameter-free RMSNorm 搭配 Muon optimizer 替换 LayerNorm/Adam，可减少显存占用并提升大模型收敛稳定性，适合在自研 DiT 或生成式推荐模型中试验。
- 推理加速：TwinFlow 蒸馏至 2-4 步采样，可用于实时商品素材生成、Agent 内图像生成模块的低延迟部署。
- 数据配方参考：220M 训练样本中 98% 为真实图像，说明高质量真实数据是生成质量的关键，电商可加强商品图质量治理并充分利用 UGC 素材。
EmoWorld：面向可控情感视频生成的解耦情感场
🧭 可控情感视频生成 · 解耦情感场
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
将情感因素解耦为氛围、语义线索与时间进程，在冻结视频扩散变换器中实现精细化情感控制
📌 工作参考价值（4 点）
- 冻结大模型 + 轻量控制向量：抽取 layer-wise affect directions 并注入隐藏状态，不改动生成器参数。类似思路可复用到电商文案/广告图生成，快速调节情感基调（温馨、紧迫、高端）而不重训模型。
- 因素解耦独立调节：VAS（氛围）、SAS（语义线索）、TAS（时间过渡）分模块控制，可借鉴到生成式商品推荐中，分别控制产品卖点、场景氛围、促销节奏的生成。
- 可重用线索库：准备阶段构建 reusable cue library，推理时按需组合。适用于批量生成多风格素材的场景，如节日大促自动换肤、多套广告创意快速迭代。
- 时序情感弧线控制：TAS 通过插值残差场实现情感平滑过渡，可启发电商直播话术或短视频脚本的情感递进设计，增强内容感染力。
从SRA到Self-Flow：数据增强还是自监督？
🧭 扩散模型训练中数据增强机制解析
The Hong Kong University of Science and Technology · Zhejiang University of Technology · Baidu Inc.
证明Self-Flow的改进主要来自双重时间步的数据增强，而非跨噪声token的自监督交互
📌 工作参考价值（4 点）
- 扩散模型训练加速：在推荐系统（如生成式推荐、用户行为序列生成）中训练扩散Transformer时，可直接采用Attention Separation作为一种简单有效的训练技巧，通过阻断不同噪声步token间的注意力，将一个样本拆成多个有效训练部分，扩大数据规模，加快收敛。
- 省去外部编码器依赖：该方法基于自表示对齐，无需额外的预训练编码器（如DINOv2），适合电商场景下多模态数据快速迭代，降低推理成本。
- 训练鲁棒性提升：实验表明，去除噪声间交互甚至优于允许交互，说明在搜索/推荐场景中，对不同噪声水平的序列片段独立建模可能更利于学习干净表示，可尝试在用户长期行为建模中引入类似分片增强。
- 可与现有框架嫁接：Attention Separation不改变模型结构，仅修改注意力掩码，可即插即用于各种DiT基推荐模型（如DreamRec），低风险提升训练效率。
MMDiff：将冻结扩散变换器扩展为多模态生成系统
🧭 生成式模型多模态解码·扩散特征复用
University of Oxford, Visual Geometry Group
冻结扩散变换器，通过多时间步特征融合与轻量解码头，同时生成图像及密集感知模态
📌 工作参考价值（4 点）
- 冻结大模型 + 轻量任务头：可借鉴到推荐系统的多目标学习或内容理解，冻结预训练 LLM/生成式模型，仅训练极少量参数的任务头，大幅降低训练成本，快速产出多模态信号（如物品描述、属性标签、质量分）。
- 多时间步特征融合：在推荐或 Agent 场景中，若干任务需要序列或推理步骤的中间状态，可类似地融合不同阶段的隐状态，例如在会话推断中融合多步推理的中间表示，提升预测准确性。
- 注意力引导的可解释性：概念驱动的注意力提取可用于生成可解释的推荐理由或搜索解释，通过在生成式推荐模型中提取与特定概念对应的注意力图，提高对用户的理解。
- 大规模合成数据生成：在电商商品配图、广告创意图生成中，可利用此类方法同时产出商品分割图、景深图等多模态标注，低成本构造训练数据，提升下游模型性能。
LoomVideo：5B 参数统一多模态视频生成与编辑的高效架构
🧭 多模态视频生成与编辑统一架构 ★ 深度解读
Peking University · Alibaba Group
用 MLLM + Deepstack 注入 + 零开销 Scale-and-Add 条件机制，在 5B 规模实现统一视频生成编辑并加速 5.41 倍
📌 工作参考价值（4 点）
- 用 MLLM 替代 T5 编码多模态输入：在电商商品视频生成或虚拟试穿中，可直接使用多模态大模型（如 Qwen3-VL）处理交错图文指令，而无需单独设计文本编码器，提升对商品属性、换装等复杂要求遵循能力。
- Scale-and-Add 零开销条件注入：避免在视频编辑时拼接源视频 token 导致序列翻倍、注意力计算平方增长。在需要融合历史帧或源视频的任务中（例如动态商品展示、视频重渲染），可直接将源视频潜变量按时间步缩放后加到目标潜变量，实现极速推理。
- Deepstack 多层特征注入：将 MLLM 每一层隐藏状态经 MLP 投影后作为 DiT 对应层的 cross-attention key/value，实现深层次语义对齐。这种设计可迁移到跨模态推荐或内容生成中，提升多模态条件遵循能力。
- 三阶段渐进训练 + RL 后训练：先低分辨率对齐 MLLM，再提分辨率引入重建/编辑，最后加入多参考图等多任务微调，并辅以 RL 优化人类偏好。该管线可借鉴用于训练电商场景的统一生成式模型，从单任务逐步扩展，稳定提升质量。
极光：使用工具增强代理的统一视频编辑
🧭 视频编辑 · Agent 工具增强 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · NVIDIA
提出Aurora框架，用工具增强的VLM代理解决视频编辑中用户请求欠指定问题，将缺失条件补全后送入统一视频扩散模型。
📌 工作参考价值（4 点）
- Agent 条件构建范式：将用户模糊请求（缺少参考图、掩码、明确指令）委托给工具增强的VLM代理，生成完整的条件元组（指令、任务类型、搜索词、掩码描述），下游生成模型只消费标准条件，该解耦模式可直接用于电商商品图生成、广告视频编辑，降低人工补全成本。
- 偏好对齐解决边界决策：使用DPO精细解决代理的边界案例（如误触发搜索、模糊掩码、约束丢失等），在推荐或Agent决策中可借鉴此方法，通过构建冲突对提升模型在相似但错误路径上的区分能力。
- 工具增强与统一条件接口：代理可调用网络搜索和分割工具，输出统一格式的参考图与掩码，屏蔽不同工具的内部差异，适合在Agent工作流中集成异构API，降低下游模型对工具强耦合。
- 设计评测维度：提出AgentEdit-Bench专门测量代理补全缺失条件的能力，评估指标包含实体匹配和身份保持，可启发我们为客服、推荐等场景构建需要主动补全信息的评测集。
SANA-WM：基于混合线性扩散Transformer的高效分钟级世界模型
🧭 高效长视频世界建模 · 混合线性注意力
NVIDIA
用2.6B参数、单GPU在34秒内生成长达60秒的720p控制视频，效率比工业基线高36倍
📌 工作参考价值（4 点）
- 长序列建模的线性注意力可复用到用户行为序列：帧间Gated DeltaNet（GDN）的线性化记忆更新机制，与softmax高低频分工的思路，可直接用于电商用户长期兴趣建模，在保持精度的同时将显存和延迟从 $O(L^2)$ 降至 $O(L)$。
- 双分支控制可作为多模态条件生成的范式：将相机6-DoF分解为低频姿态与高频视角的双分支控制，对生成式推荐中融合多种条件（如时间、场景、个性化）的设计有参考意义。
- 两阶段生成（粗-精）是通用的效率优化：先用小模型快速生成粗稿，再用精炼器提升局部一致性，可迁移到生成式推荐的item生成链路，降低全尺寸模型的一次推理成本。
- 从弱标注视频中提取精确动作的流水线：可借鉴其从公开视频估算 metric-scale 相机姿态的方法，用于电商场景下的用户行为模拟数据构建，例如从店内视频中提取移动轨迹作为世界模型的训练监督。
HiDream-O1-Image: 像素级统一Transformer的原生多模态图像生成基础模型
🧭 像素级统一Transformer的图像生成范式
HiDream.ai
通过像素空间扩散Transformer，消除VAE与独立文本编码器，实现多模态原生统一生成，8B参数媲美27B模型并可扩展至200B+
📌 工作参考价值（4 点）
- 统一token空间设计消除了独立VAE和文本编码器，大幅简化多模态生成pipeline，在电商商品图生成中可降低工程复杂度与延迟。
- In-context编辑与个性化能力可直接用于商品图片的指令式修改（如背景替换、文案添加），实现快速营销素材生成。
- 200B+规模的扩展性验证了架构的工业可行性，适合作为商品视觉内容生成与编辑的统一基座模型。
- 将文本、像素、条件统一视为token进行推理的思路，可迁移至多模态推荐或Agent系统，用单一Transformer统一处理异构输入。